隠れマルコフモデル(カルマンフィルタ)の勉強配信アーカイブとメモ(NMA Hidden Dynamics)
Neuromatch Academy: Computational NeuroscienceのSTOCHASTIC PROCESSESのHidden Dynamics回
教材リンク
カルマンフィルタ(Kalman filter)
https://www.youtube.com/watch?v=5Cmg1XyHiqs
Naa_tsure.icon正直よくわからん話
本編：7:14-あたり
Transition Matrix:Dについて
$ s_{t-1}から$ s_{t}への変換で出てくる行列
離散の場合だと以下のような行列
$ D=\begin{pmatrix}p_{stay}&p_{switch} \\ p_{switch}&p_{stay} \end{pmatrix}
この行列は真の値latent stateの変化を表している？？？？
真の値が確率的に変化するというのは上手く納得できない
Naa_tsure.icon全てのt-1→tの変化をこのDのみで表しているのなら妥当な表現では？
Naa_tsure.iconどうしても決定論的に見てしまうのは特定のt-1→tの変化だけに注目しているから(多分)
仮にこれを受け入れたとして、
何故t-1のposteriorからtのpriorに変換する際にも同じDを使うのか
このDの値はどこから降ってきたのか
このDも本来はエージェントにとって不明なパラメータなのでは？？？？
だとしたらDも推定しなきゃ・・・とか考えているのだが全く分からんNaa_tsure.icon*3
hl.icon
追記：最適制御(LQG)の勉強配信アーカイブとメモ(NMA Optimal Control)では、部分観測マルコフ決定過程(Partially Observable Markov Decision Process; POMDP)が使われていて、そこでは真の状態とbelieve(脳内)が区別されていた。
ここではシンプルに近似してるだけなのではNaa_tsure.icon*2
違った。よく見たら$ p(s_{t-1})から$ p(s_{t})への変化だから、Dは真の状態ではなく観測者側の問題では？
もし観測をしなければ、Ｄに従って観測者の中で$ p(s_{t}=-1)=p(s_{t}=1)=0.5に近づく
って話が、本編：47:50あたりのチュートリアルで解説されている
でも、連続値では$ s_t=Ds_{t-1}+W_{t-1}として真の値をモデル化している(本編：2:13:55)
うーんわからん？Naa_tsure.icon*2
多分だけど、latent state Dynamicsのモデル化にDを使ってて、
計算する際にそれが観測者側のモデルに定数として入ってるだけな気がしている
#2023/5/27
hl.icon
本編：3:14:00あたり
codingのところで、likelihoodを平均mで分散をobserbed noiseにしていたけど、これp(m|s)になってる？
Naa_tsure.iconsの要素がどっから湧いたんだ・・・
#2023/5/26
hl.icon
追記Naa_tsure.icon：まず、そもそもlikelihood$ p(x|Θ)ってモデル(原因)からデータ(結果)が生じる確率なんだから、
現実の状態sから観測した値が生じる確率は$ p(m|s)でおかしくない
そして、多分このlikelihoodは観測者側の目線だから平均ｍで分散obserbed noiseでいいんだと思う
真のモデル？を考えると、平均はsで分散obserbed noiseになるけど、sは知りえないのでこうなる
In a Hidden Markov Model, we cannot directly observe the latent states $ s_t
Instead we get noisy measurements $ m_t∼$ p(m|s_t)
そしてその観察から真の状態を推測する$ p(s|m)
#2023/5/27